重审生成式与稠密检索：静态价值先验逆转差距
🧭 生成式 vs 稠密检索的评估与价值先验 ★ 深度解读
Shopify · University of Toronto
电商候选检索中，GR 的价值领先主要来自静态热门度，静态价值先验重排 DR 可反超且保持 recall 领先
📌 工作参考价值（4 点）
- 在电商候选生成离线评测中，除了 Recall@k / NDCG@k 的 exact next-item，务必加入 best-item value (BV@k) 和 value-weighted NDCG (vNDCG@k)。精确命中指标有 substitute blindness，无法奖励“有用替代品”，可能导致 GR 看起来很强；用类目/共现/LLM-judge 的部分得分更能反映真实业务价值。
- 若团队正在对比 Semantic ID 生成式召回与双塔/稠密召回，先做一次价值分解：把生成式方法的价值领先拆成 popularity / rating / brand 等静态项。如果 popularity 贡献 50%+，说明领先很可能来自“背热门”，不是个性化理解；可以做 popularity-agnostic 评估或对热门项降权。
- 训练一个简单且强的 baseline：DR + static prior。把 DR 相似度归一化后与静态商品价值分按 0.5 权重融合，只对 top-200 候选重排；不用重新训练、不用 decoder，线上可即时部署。论文中这一招把 DR 的 BV@50 从落后 GR 变成领先，Recall 还高于 GR，vNDCG 最高。
- 工业场景不要被参数规模唬住：14B 的 SID-LLM 生成式召回在 LLM-judged 分级相关性上低于约 300M 的稠密 encoder。升级到 GR 前，建议用 LLM-judge 对候选做 graded relevance（可给替代品部分分数），并与 DR+静态价值先验做 A/B；如果 GR 没有显著价值增量，维持 DR 成本更低。
生产流媒体推荐中 LLM 推断用户上下文的增益条件
🧭 LLM 用户画像 · 上下文自适应推荐 ★ 深度解读
DePaul University · Comcast Technology AI
LLM 生成的语义用户画像只在探索型用户上优于聚合画像，且会显著放大热门偏差
📌 工作参考价值（4 点）
- 按消费模式分层选画像策略：线上可用训练期特征（历史长度、历史内容多样性）预估用户是习惯型还是探索型，对探索型才启用 LLM 画像，习惯型默认 centroid。论文给出 history size r=-0.30、历史 embedding 多样性 r=+0.11 两个弱但显著的相关特征，可直接作为 serving 端策略信号。
- 默认 aggregate 更稳，LLM 画像需配 fallback：在约 82% 的习惯型用户上，LLM 画像 Recall@10 比 centroid 低 21-31 个百分点；若拿不准用户 regime，保守选择 aggregate embedding，避免大范围掉点。
- 警惕 LLM 画像的 popularity attractor：LLM 生成式画像把推荐集中到更小、更热门目录，Coverage 下降约 80%，Novelty 下降 18-22%。电商/广告场景若重视长尾曝光，需要对 LLM profile 做 debias、温度/多样性控制，或只在探索型用户上启用，否则会系统性压制长尾商品。
- 时间 split + attention 对 LLM 画像才有明显作用：TemporalNarrative 在习惯型用户上比单段 Narrative 回升约 9 个点 Recall@10，但仍追不上 centroid；对 aggregate 几乎无影响。因此若用 LLM 画像，短/长期 split 值得做；若用 embedding centroid，不必增加时间切分复杂度。
LLM 品牌推荐的检索与排序评估框架
🧭 LLM 推荐评估 · 随机检索排序
Northwestern University · Boston University
提出基于重复采样的 BRP@k / MRR@k 框架，将 LLM 品牌推荐视为随机检索与排序过程
📌 工作参考价值（4 点）
- 在电商/广告场景用 LLM 直接推荐品牌或商品时，不要把单次输出当稳定排序；应做多次重复采样，用 BRP@k 和 MRR@k 估计品牌/商品出现概率与排名分布，避免误判模型偏好。
- 品类词泛 query 会系统性遗漏大量成熟品牌，且 LLM prominence 与传统销量/品牌热度关联有限，更贴近搜索热度、线上讨论声量等全域可见度信号；做 LLM 品牌曝光优化时，应重点运营搜索与内容生态，而不是只堆 GMV。
- 需求化 prompt 会显著改变品牌检索集合；如果想让某些品牌在 LLM 推荐中被召回，不要只依赖品类词，可以在 prompt 中植入用户目标、约束或差异化卖点，类似于 GEO 的 prompt 策略。
- 诊断 probe 可识别“条件可检索品牌”：品牌在泛 prompt 下不出现，但提供独特线索后能被召回。这可用于评估品牌语义关联是否被 LLM 学到，并指导品牌描述、属性标签和内容投放。
推荐质量与消费集中度：来自Netflix的实验证据
🧭 推荐质量与消费集中度实验 ★ 深度解读
Netflix · Northwestern Kellogg · Cornell University · Cornell Tech
Netflix 850万用户holdback实验发现推荐算法进步使消费从超级头部转向中腰部，总参与度提升
📌 工作参考价值（4 点）
- 用长周期 cumulative holdback 而非单个 A/B 来度量推荐系统累计改进的分布效应；电商/广告可周期性冻结旧模型，监控商品曝光与成交的 HHI 及分桶（头部/中腰部/长尾）变化，防止只盯总 GMV 而忽视供给结构。
- 在排序、召回中，popularity bias 会默认推荐头部；更强的偏好推断（例如更深的模型、联合建模）会自然把流量从中腰部释放。可显式评估不同流量分位上的边际收益，优先投资中腰部商品，而不是无条件做长尾多样性。
- 评估推荐质量时同时看“推荐来源占比、MRR、完播/正向反馈”等指标；区分 inframarginal switching 与 extensive-margin entry 对平均匹配质量的影响，避免把平均质量下降误判为推荐变差。
- 工程上若使用 HHI 做系统健康度监控，注意 1-2% 的播放 HHI 下降可能对应显著 engagement 提升；可作为长期收益指标，但需结合用户侧价值验证。
隐式反馈下的无偏推荐系统
🧭 无偏推荐 · 位置/流行度偏差
University of Illinois Chicago
系统研究推荐中位置偏差与流行度偏差的缓解方法，覆盖LTR、CF和GNN社交推荐
📌 工作参考价值（4 点）
- 位置偏差处理：在电商搜索/推荐排序中，可直接借鉴无偏LTR的思路，如使用逆倾向加权（IPW）或引入位置作为特征，在训练时对点击/成交等隐式反馈进行去偏，减少高排名项的虚假优势。
- 流行度偏差缓解：面对冷启动或长尾商品，可参考CF和GNN上的去偏方法，例如对热门物品进行负采样抑制、在损失函数中加入流行度正则项，或使用图结构上的邻居重加权，提升长尾物品曝光公平性。
- 社交推荐扩展：若业务中有社交关系或用户-用户图，可将该研究中的GNN去偏思路迁移至社交电商场景，例如在聚合邻居时考虑交互偏差，避免高流行度节点主导表示。
- 工程实现建议：部署时需监控线上指标与离线指标的一致性，位置偏差可能导致离线AUC虚高，建议在评估阶段也采用无偏指标或对曝光概率进行校正。
基于 LLM 聚类的实时硬负采样双塔召回
🧭 双塔召回 · 硬负采样 · LLM 聚类 ★ 深度解读
Meta
提出一种在线聚类的硬负采样框架，利用 LLM 生成 item 语义簇并实时抽取簇内 hard negative，显著提升召回并缓解流行度偏差
📌 工作参考价值（4 点）
- 用 LLM 离线生成 item 语义簇替代规则类别：电商/视频场景可构建多模态内容理解模型，产出 300 级粗粒度簇（簇内 item ≥ 10k），作为硬负采样的先验，比人工品类树更适应内容语义和用户兴趣迁移。
- 实时 OOB 池 + 哈希分桶采样：将 item 池按 cluster_id 分段维护，更新与采样均 O(1)，训练 QPS 损失仅 -1.4%，可直接嵌入现有双塔训练流，不需异步构建 ANN 索引。
- 簇内采样缓解反馈循环与流行度偏差：从与正样本同簇的 item 中抽取负样本，迫使模型学习细粒度区分能力，工业实验中 Top100 热门 item 曝光占比从 50% 降至 32%，长尾曝光桶（≥1k impressions）增加 50%，对去偏效果明显。
- 评估避免 k-core 过滤与采样指标：使用全量全局排序评估 HR@50/100，更反映冷启动与稀疏场景的真实效果，业务落地评估时可参考此严格设定。